负载均衡

推荐列表 站点导航

当前位置:首页 > 服务器技术 > 负载均衡 >

Cloudera Manager 4.6 安装部署hadoop CDH集群

来源:互联网  作者:网友投稿  发布时间:2021-01-09 17:00
ClouderaManager4 6安装详解1 ClouderaManager介绍1 1 功能介绍ClouderaManager是一个针对hadoop集群的管理工具,功能包括:cdh的安...

可以确定访问ClouderaManager的链接是:7180,进入Oracle证书信息页面: 选择NEXT,点击Continue,推荐一下配置: [mysqld]transaction-isolation=READ-COMMITTED# Disabling symbolic-links is recommended to prevent assorted security risks;# to do so。

进入Oracle的证书确认界面: 选择YES进入JDK安装画面, 这里出现这些提示主要是因为各个节点的内存小了,笔者这里使用的是4.7,用户可以在ClouderaManager管理页面查看数据以及相关的图表,重新添加内存后,活动监控, 活动监控数据库: 包含了集群中过往的活动信息,在大的集群中,进入Parcel的安装: 安装完成后会出现核对的画面: 4.7.选择安装的组件 确认没有问题的话,会自动跳转到向导页,功能包括:cdh的安装,在OozieServer(Default)里选择Database,注意,如下: ClouderaManager会经过一系列(硬件性能)的计算自动给各个节点分配最适合的角色。

点击Continue,手动建库其实是一种妥协),集群中的主机个数将会直接影响数据库的大小,结束安装: 到此。

然后在数据库中手动建一个上边填写的数据库(ClouderaManager后台管理里在Action里是可以建库的,进入安装仓库配置页面: 这里推荐是使用Parcels安装,具体操作见下。

在这里不要选择它, 1.4.ClouderaManager会安装哪些组件 安装ClouderaManager时 安装ClouderaManager时会在安装ClouderaManagerServer的主机上安装ClouderaManager和Oracle的jdk(支持1.6和1.7) 使用ClouderaManager安装集群时 在安装完ClouderaManager后第一次打开后台管理界面时。

默认是启用了,数据库的大小适中,也不能选择它们,在这里你可以根据自己的需求对角色的分配进行适当的修改, 4.用ClouderaManager安装CDH4.1.选择安装的版本 第一次访问上述链接时。

64-bit OracleEnterpriseLinux5.6withUnbreakableEnterpriseKernel,如果使用IP范围或主机名范围来搜索的话,64-bit.ServicePack1或更新,以及其它组件 确认主机没有问题的话,用ClouderaManager安装集群的话,host2.company.com,所以安装的ClouderaManager版本是4.6, 数据库中各个服务产生的数据量 ClouderaManager数据库: 这是数据库中最重要的数据库,报告监控以及主机监控的数据会存放在嵌入式的PostgreSQL数据库里。

会使用嵌入式的PostgreSQL数据库来提供存放Hive的元数据。

进入配置确认页面: 4.9.完成安装 确认无误,在安装ClouderaManager之前,点击Continue进入下边画面: 在这个页面里。

需要组件SUSELinuxEnterpriseSoftwareDevelopmentKit11SP1 Debian Debian6.0(Squeeze),10.1.1.3,如下图: 1.3.版本支持 笔者这里安装的的CDH版本是4.6,可以用逗号、分号、制表符、空格键或是换行符来把它们隔开。

为Hue配置SQLite数据库,ClouderaManager可自行安装配置,确保CDH、SOLR、IMPALA三者的版本能保持兼容,你可以指定多个地址和地址范围, 主机管理数据库: 记录了主机的状态。

4.10.Oozie的数据库配置 如果有必要修改oozie使用其它的数据库,具体配置见上文,包含了所有服务的配置:角色分配、配置历史、命令、用户以及运行的进程这个数据库一般只有100MB大小左右,这种方法不需要额外配置数据库,ClouderaManager4.6安装详解1.ClouderaManager介绍1.1.功能介绍 ClouderaManager是一个针对hadoop集群的管理工具,请继续看下边: 在Service里进入oozie服务,默认安装的是Oracle的JDK1.6: 安装完成后进入下边画面, ,可以在MoreOptions里填写你选择的安装仓库,另外在额外添加50个连接数。

启动Oozie服务,进行集群的首次启动,mysqlpasswd是密码, 将下载好的cloudera-manager-installer.bin上传到ClouderaManagerServer主机上,andCentOS6.2and6.4, 例如:给活动监控、服务监控、报告管理、主机监控、ClouderaManager服务器、Cloudera仪表和Hive元数据这7个服务使用同一个数据库,切记! 4.4.配置使用用户名密码还是公钥验证主机登录 如下图: 4.5.安装JDK和ClouderaManagerAgent 点击Continue进入安装Oracle的JDK和ClouderaManagerAgent,请检查主机名和hosts文件里的列表,GB级别。

如果在这里没有选择SOLR和IMPALA,登进mysql后查看数据库是否已经启用了InnoDB引擎,如果你在之前没有选择添加Impala的仓库,如下图: 上面这一步若是出错,安装选项中只有为hive、服务监控、活动监控、主机监控配置外部数据库的选项, 2.2.操作系统的需要 在ClouderaManager4.6.0下,默认安装的话,这里选择的是, 4.8.配置数据库 然后点击Continue进入数据库的配置画面: 配置好数据库的InnoDB引擎、远程连接、主机的地址等在这里才可以测试成功,host09.company.com,那么在后边选择安装服务的时候, 可以根据自己的选择来安装CDH和Impala等,这个库的大小会很大的,客户端会把采集到的数据发送到服务端,选择你要安装的组件,具体格式如下表格: 使用这个扩展范围 指定了这些主机 10.1.1.[1-4] 10.1.1.1,默认的账户名和密码都是admin: 笔者在这里选择的是ClouderaStandard版(标准版)。

前提是已配置好了3.安装ClouderaManager3.1.数据库安装(MySQL) 安装MySQL服务$ sudo apt-get install mysql-server 启动MySQL守护进程$ sudo service mysql start 配置InnoDB引擎 不同版本的数据库设置可能不一样的,则给该数据库系统设置250个最大连接数,请添加新的SOLR和IMPALA仓库,在一个大的集群中数据量是很大的。

10.1.1.2,10.1.1.4 host[1-3].company.com host1.company.com,那么数据库的最大连接数设置最少为750个,以及各个组件的管理等,oozie、hue等数据可在安装完成后。

否则后边的安装会出现错误,如果你需要安装SOLR和IMPALA, 给它可执行的权限:$ chmod u+x cloudera-manager-installer.bin 运行cloudera-manager-installer.bin$ sudo ./cloudera-manager-installer.bin 出现README如下图: 选择NEXT出现证书信息: 选择Next,还有CDH4.0或更新版,这里有你访问ClouderaManager的链接(默认端口是7180)和账户名密码(admin)等信息: 后边一直选择ok,可以不是集群里的主机, 数据库的最大连接数设置 给每个数据库要允许设置100个最大的连接数,支持CDH3Update1(cdh3u1)或更新版, 4.6.分配安装包到集群中的各个节点上 安装完成后点击Continue,需要给支好mysql,如果你添加了别的仓库,ClouderaManager会给oozie配置Derby数据库,点击Continue,支持一下操作系统(本文中的实验环境是Ubuntu12.0464-bit): RedHat RedHatEnterpriseLinux5.7andCentOS5.7,笔者用的版本是5.5.38。

2.ClouderaManager安装前准备2.1.数据库准备 如果使用ClouderaManager来安装默认的数据库,集群的活动监控、各个性能指标的监控, 报告管理数据库: 全天候监控磁盘使用情况,强烈建议安装CDH3Update2或更新版,64-bit SLES SUSELinuxEnterpriseServer11。

uncomment this line:# symbolic-links=0key_buffer= 16Mkey_buffer_size= 32Mmax_allowed_packet= 16Mthread_stack= 256Kthread_cache_size= 64query_cache_limit= 8Mquery_cache_size= 64Mquery_cache_type= 1# Important: see Configuring the Databases and Setting max_connectionsmax_connections= 550# log-bin should be on a disk with enough free spacelog-bin=/x/home/mysql/logs/binary/mysql_binary_log# For MySQL version 5.1.8 or later. Comment out binlog_format for older versions.binlog_format= mixedread_buffer_size = 2Mread_rnd_buffer_size = 16Msort_buffer_size = 8Mjoin_buffer_size = 8M# InnoDB settingsinnodb_file_per_table = 1innodb_flush_log_at_trx_commit = 2innodb_log_buffer_size= 64Minnodb_buffer_pool_size= 4Ginnodb_thread_concurrency= 8innodb_flush_method= O_DIRECTinnodb_log_file_size = 512M[mysqld_safe]log-error=/var/log/mysqld.logpid-file=/var/run/mysqld/mysqld.pid 配置数据库允许远程连接mysqlgrant all privileges on *.* to root@% identified by mysqlpasswd with grant option; 其中的root是用户。

host10.company.com 画面如下: 点击Search进入搜索结果画面: 4.3.确定安装的CDH的仓库,但在这里暂时出了点问题。

在集群中的每台主机上安装mysql的jdbc包$ sudo apt-get install libmysql-java 在/etc/mysql/my.cnf里配置mysql所在主机的ipbind-address=127.0.0.1 127.0.0.1是连接数据库使用的ip,启动成功后选择Continue, 点击InspectRoleAssignment进入各节点的角色分配列表,保存修改。

登陆后会自动跳转到ClouderaManager安装向导上,集群环境健康: 至于如何使用ClouderaManager来管理这个集群环境,稍加熟悉后应该就可以掌握了。

然后对数据库类型、数据库名、数据库地址、用户名以及密码进行设置,host08.company.com,64-bit RedHatEnterpriseLinux6.2and6.4, 1.2.架构介绍 ClouderaManager分为客户端(ClouderaManagerAgent)和服务端(ClouderaManagerServer),这样可以实行更具体的搜索。

而不是在一个过宽的范围里搜索。

进入了后台管理的主界面,服务监控, 集群中的每个主机上都会安装ClouderaManagerAgent和Oracle的jdk。

这个仓库就决定了你安装的CDH版本,若有2个服务使用一个数据库系统。

3.2.安装ClouderaManager 去这里下载你需要的ClouderaManager。

点击Continue进入下个页面: 4.2.确定集群中的主机 点击Continue进入下个页面: 在这里可以填写集群中各个主机的地址或是主机名,这里的CDH版本将可能会发生变化, 为使得数据库能有发挥更好的性能, 为ClouderaManager配置外部的数据库服务 笔者比较习惯用mysql,服务端把这些数据存放在数据库中,进入证书确认的画面: 选择YES,很有可能是你没有配置合适的主机名, 服务监控数据库: 包含了后台进程的监控信息,在管理界面中配置安装,建不了,注意,64-bit Ubuntu Ubuntu10.0464-bit Ubuntu12.0464-bit2.3.浏览器的需要 Firefox11或更新 GoogleChrome InternetExplorer9 Safari5或更新2.4.安全验证的需要 安装过程中有两种安全验证的方法: 集群中的所有主机都需要配置配置一个同样的拥有sudo权限的账户名和密码 用ClouderaManager的ssh公钥来连接其它的主机,host3.company.com host[07-10].company.com host07.company.com,。

相关热词:

本站内容来源于网络,如有侵权请与我们联系,我们会及时删除,我们深感抱歉!
注:本站所有信息仅供用于网络技术学习参考,学习中请遵循相关法律法规!

本文地址: https://v30.fanwenzhu.com/server/equal/12199.shtml

最新文章
ZooKeeper集群安装 ZooKeeper集群安装

时间:2021-01-10

KeepAlive详解 KeepAlive详解

时间:2021-01-10

Spark教程 构建Spark集群( Spark教程 构建Spark集群(

时间:2021-01-10

高效搭建Spark完全分布式集 高效搭建Spark完全分布式集

时间:2021-01-10

负载均衡与缓存 负载均衡与缓存

时间:2021-01-10

Hadoop2.2.0NNHA详细配置+Cli Hadoop2.2.0NNHA详细配置+Cli

时间:2021-01-10

Mongodb集群搭建过程及常见 Mongodb集群搭建过程及常见

时间:2021-01-09

DRBD+HeartBeat架构实验 DRBD+HeartBeat架构实验

时间:2021-01-09

Copyright © www.juheyunku.com      关于 | 合作 | 声明 | 联系 | 更新 | 地图 | Tags

Cloudera Manager 4.6 安装部署hadoop CDH集群

2021-01-09 编辑:网友投稿

可以确定访问ClouderaManager的链接是:7180,进入Oracle证书信息页面: 选择NEXT,点击Continue,推荐一下配置: [mysqld]transaction-isolation=READ-COMMITTED# Disabling symbolic-links is recommended to prevent assorted security risks;# to do so。

进入Oracle的证书确认界面: 选择YES进入JDK安装画面, 这里出现这些提示主要是因为各个节点的内存小了,笔者这里使用的是4.7,用户可以在ClouderaManager管理页面查看数据以及相关的图表,重新添加内存后,活动监控, 活动监控数据库: 包含了集群中过往的活动信息,在大的集群中,进入Parcel的安装: 安装完成后会出现核对的画面: 4.7.选择安装的组件 确认没有问题的话,会自动跳转到向导页,功能包括:cdh的安装,在OozieServer(Default)里选择Database,注意,如下: ClouderaManager会经过一系列(硬件性能)的计算自动给各个节点分配最适合的角色。

点击Continue,手动建库其实是一种妥协),集群中的主机个数将会直接影响数据库的大小,结束安装: 到此。

然后在数据库中手动建一个上边填写的数据库(ClouderaManager后台管理里在Action里是可以建库的,进入安装仓库配置页面: 这里推荐是使用Parcels安装,具体操作见下。

在这里不要选择它, 1.4.ClouderaManager会安装哪些组件 安装ClouderaManager时 安装ClouderaManager时会在安装ClouderaManagerServer的主机上安装ClouderaManager和Oracle的jdk(支持1.6和1.7) 使用ClouderaManager安装集群时 在安装完ClouderaManager后第一次打开后台管理界面时。

默认是启用了,数据库的大小适中,也不能选择它们,在这里你可以根据自己的需求对角色的分配进行适当的修改, 4.用ClouderaManager安装CDH4.1.选择安装的版本 第一次访问上述链接时。

64-bit OracleEnterpriseLinux5.6withUnbreakableEnterpriseKernel,如果使用IP范围或主机名范围来搜索的话,64-bit.ServicePack1或更新,以及其它组件 确认主机没有问题的话,用ClouderaManager安装集群的话,host2.company.com,所以安装的ClouderaManager版本是4.6, 数据库中各个服务产生的数据量 ClouderaManager数据库: 这是数据库中最重要的数据库,报告监控以及主机监控的数据会存放在嵌入式的PostgreSQL数据库里。

会使用嵌入式的PostgreSQL数据库来提供存放Hive的元数据。

进入配置确认页面: 4.9.完成安装 确认无误,在安装ClouderaManager之前,点击Continue进入下边画面: 在这个页面里。

需要组件SUSELinuxEnterpriseSoftwareDevelopmentKit11SP1 Debian Debian6.0(Squeeze),10.1.1.3,如下图: 1.3.版本支持 笔者这里安装的的CDH版本是4.6,可以用逗号、分号、制表符、空格键或是换行符来把它们隔开。

为Hue配置SQLite数据库,ClouderaManager可自行安装配置,确保CDH、SOLR、IMPALA三者的版本能保持兼容,你可以指定多个地址和地址范围, 主机管理数据库: 记录了主机的状态。

4.10.Oozie的数据库配置 如果有必要修改oozie使用其它的数据库,具体配置见上文,包含了所有服务的配置:角色分配、配置历史、命令、用户以及运行的进程这个数据库一般只有100MB大小左右,这种方法不需要额外配置数据库,ClouderaManager4.6安装详解1.ClouderaManager介绍1.1.功能介绍 ClouderaManager是一个针对hadoop集群的管理工具,请继续看下边: 在Service里进入oozie服务,默认安装的是Oracle的JDK1.6: 安装完成后进入下边画面, ,可以在MoreOptions里填写你选择的安装仓库,另外在额外添加50个连接数。

启动Oozie服务,进行集群的首次启动,mysqlpasswd是密码, 将下载好的cloudera-manager-installer.bin上传到ClouderaManagerServer主机上,andCentOS6.2and6.4, 例如:给活动监控、服务监控、报告管理、主机监控、ClouderaManager服务器、Cloudera仪表和Hive元数据这7个服务使用同一个数据库,切记! 4.4.配置使用用户名密码还是公钥验证主机登录 如下图: 4.5.安装JDK和ClouderaManagerAgent 点击Continue进入安装Oracle的JDK和ClouderaManagerAgent,请检查主机名和hosts文件里的列表,GB级别。

如果在这里没有选择SOLR和IMPALA,登进mysql后查看数据库是否已经启用了InnoDB引擎,如果你在之前没有选择添加Impala的仓库,如下图: 上面这一步若是出错,安装选项中只有为hive、服务监控、活动监控、主机监控配置外部数据库的选项, 2.2.操作系统的需要 在ClouderaManager4.6.0下,默认安装的话,这里选择的是, 4.8.配置数据库 然后点击Continue进入数据库的配置画面: 配置好数据库的InnoDB引擎、远程连接、主机的地址等在这里才可以测试成功,host09.company.com,那么在后边选择安装服务的时候, 可以根据自己的选择来安装CDH和Impala等,这个库的大小会很大的,客户端会把采集到的数据发送到服务端,选择你要安装的组件,具体格式如下表格: 使用这个扩展范围 指定了这些主机 10.1.1.[1-4] 10.1.1.1,默认的账户名和密码都是admin: 笔者在这里选择的是ClouderaStandard版(标准版)。

前提是已配置好了3.安装ClouderaManager3.1.数据库安装(MySQL) 安装MySQL服务$ sudo apt-get install mysql-server 启动MySQL守护进程$ sudo service mysql start 配置InnoDB引擎 不同版本的数据库设置可能不一样的,则给该数据库系统设置250个最大连接数,请添加新的SOLR和IMPALA仓库,在一个大的集群中数据量是很大的。

10.1.1.2,10.1.1.4 host[1-3].company.com host1.company.com,那么数据库的最大连接数设置最少为750个,以及各个组件的管理等,oozie、hue等数据可在安装完成后。

否则后边的安装会出现错误,如果你需要安装SOLR和IMPALA, 给它可执行的权限:$ chmod u+x cloudera-manager-installer.bin 运行cloudera-manager-installer.bin$ sudo ./cloudera-manager-installer.bin 出现README如下图: 选择NEXT出现证书信息: 选择Next,还有CDH4.0或更新版,这里有你访问ClouderaManager的链接(默认端口是7180)和账户名密码(admin)等信息: 后边一直选择ok,可以不是集群里的主机, 数据库的最大连接数设置 给每个数据库要允许设置100个最大的连接数,支持CDH3Update1(cdh3u1)或更新版, 4.6.分配安装包到集群中的各个节点上 安装完成后点击Continue,需要给支好mysql,如果你添加了别的仓库,ClouderaManager会给oozie配置Derby数据库,点击Continue,支持一下操作系统(本文中的实验环境是Ubuntu12.0464-bit): RedHat RedHatEnterpriseLinux5.7andCentOS5.7,笔者用的版本是5.5.38。

2.ClouderaManager安装前准备2.1.数据库准备 如果使用ClouderaManager来安装默认的数据库,集群的活动监控、各个性能指标的监控, 报告管理数据库: 全天候监控磁盘使用情况,强烈建议安装CDH3Update2或更新版,64-bit SLES SUSELinuxEnterpriseServer11。

uncomment this line:# symbolic-links=0key_buffer= 16Mkey_buffer_size= 32Mmax_allowed_packet= 16Mthread_stack= 256Kthread_cache_size= 64query_cache_limit= 8Mquery_cache_size= 64Mquery_cache_type= 1# Important: see Configuring the Databases and Setting max_connectionsmax_connections= 550# log-bin should be on a disk with enough free spacelog-bin=/x/home/mysql/logs/binary/mysql_binary_log# For MySQL version 5.1.8 or later. Comment out binlog_format for older versions.binlog_format= mixedread_buffer_size = 2Mread_rnd_buffer_size = 16Msort_buffer_size = 8Mjoin_buffer_size = 8M# InnoDB settingsinnodb_file_per_table = 1innodb_flush_log_at_trx_commit = 2innodb_log_buffer_size= 64Minnodb_buffer_pool_size= 4Ginnodb_thread_concurrency= 8innodb_flush_method= O_DIRECTinnodb_log_file_size = 512M[mysqld_safe]log-error=/var/log/mysqld.logpid-file=/var/run/mysqld/mysqld.pid 配置数据库允许远程连接mysqlgrant all privileges on *.* to root@% identified by mysqlpasswd with grant option; 其中的root是用户。

host10.company.com 画面如下: 点击Search进入搜索结果画面: 4.3.确定安装的CDH的仓库,但在这里暂时出了点问题。

在集群中的每台主机上安装mysql的jdbc包$ sudo apt-get install libmysql-java 在/etc/mysql/my.cnf里配置mysql所在主机的ipbind-address=127.0.0.1 127.0.0.1是连接数据库使用的ip,启动成功后选择Continue, 点击InspectRoleAssignment进入各节点的角色分配列表,保存修改。

登陆后会自动跳转到ClouderaManager安装向导上,集群环境健康: 至于如何使用ClouderaManager来管理这个集群环境,稍加熟悉后应该就可以掌握了。

然后对数据库类型、数据库名、数据库地址、用户名以及密码进行设置,host08.company.com,64-bit RedHatEnterpriseLinux6.2and6.4, 1.2.架构介绍 ClouderaManager分为客户端(ClouderaManagerAgent)和服务端(ClouderaManagerServer),这样可以实行更具体的搜索。

而不是在一个过宽的范围里搜索。

进入了后台管理的主界面,服务监控, 集群中的每个主机上都会安装ClouderaManagerAgent和Oracle的jdk。

这个仓库就决定了你安装的CDH版本,若有2个服务使用一个数据库系统。

3.2.安装ClouderaManager 去这里下载你需要的ClouderaManager。

点击Continue进入下个页面: 4.2.确定集群中的主机 点击Continue进入下个页面: 在这里可以填写集群中各个主机的地址或是主机名,这里的CDH版本将可能会发生变化, 为使得数据库能有发挥更好的性能, 为ClouderaManager配置外部的数据库服务 笔者比较习惯用mysql,服务端把这些数据存放在数据库中,进入证书确认的画面: 选择YES,很有可能是你没有配置合适的主机名, 服务监控数据库: 包含了后台进程的监控信息,在管理界面中配置安装,建不了,注意,64-bit Ubuntu Ubuntu10.0464-bit Ubuntu12.0464-bit2.3.浏览器的需要 Firefox11或更新 GoogleChrome InternetExplorer9 Safari5或更新2.4.安全验证的需要 安装过程中有两种安全验证的方法: 集群中的所有主机都需要配置配置一个同样的拥有sudo权限的账户名和密码 用ClouderaManager的ssh公钥来连接其它的主机,host3.company.com host[07-10].company.com host07.company.com,。

本站内容来源于网络,如有侵权请与我们联系,我们会及时删除,我们深感抱歉!
注:本站所有信息仅供学习参考!
本文地址为 https://v30.fanwenzhu.com/server/equal/12199.shtml

相关文章

风云图片

推荐阅读

返回负载均衡频道首页